Bức tượng chỉ tồn tại trong vòng 56 năm cho tới khi Rhodes phải hứng chịu một trận động đất năm 224 TCN. Bức tượng bị gãy ở phần đầu gối và sụp xuống phần đất liền. Ptolemy III ra lệnh chi tiền làm lại bức tượng, nhưng một lời sấm đã khiến những người Rhode sợ hãi rằng họ đã xúc phạm đến thần Mặt Trời, và họ không dám xây dựng lại nó. Những phần đổ vỡ của bức tượng tiếp tục nằm trên mặt đất trong hơn 800 năm, thậm chí đã vỡ ra, nhiều du khách đã du lịch tới đó vì ấn tượng khi nhìn thấy. Gaius Plinius Secundus (Pliny the Elder) đã ghi chép rằng rất ít người có thể vòng tay ôm được ngón tay cái và rằng mỗi ngón tay của tượng đã lớn hơn đa số những bức tượng bình thường khác.

Năm 654 một lực lượng Ả Rập dưới quyền chỉ huy của Muawiyah I chiếm Rhodes và, theo những nhà sử học Theophanes, những phần còn lại của tượng đã bị đem bán cho một nhà buôn từ Edessa. Ông ta phá vỡ bức tượng và chở những tấm đồng bằng 900 con lạc đà về quê hương. Những mảnh rời đó tiếp tục được đào lên đem bán, sau khi được tìm thấy dọc theo con đường lữ hành.